Ngay sau khi Pháp tái chiến Đông Dương, ông tham gia quân đội và trở thành một trong những chỉ huy đầu tiên do nền tảng kiến thức tổng quát và quân sự cơ bản được đào tạo. Ông được chỉ định làm Phân đội trưởng Phân đội 1 (gồm 36 người) của Giải phóng quân, trấn giữ tại cửa Thuận An. Tại đây, ông đã chỉ huy bao vây chiếc tàu đầu tiên của Pháp định quay lại chiếm Huế, bắt sống một Đại úy Pháp, Đại đội trưởng thuộc Trung đoàn do tướng Alessandri chỉ huy.

Khi quân Pháp chiếm Huế, ông được cử làm Chỉ huy trưởng Mặt trận đường số 9 (Hạ Lào 1945), rồi Chỉ huy trưởng Mặt trận đường số 7 (Thượng Lào 1946), thực hiện nhiều cuộc giao chiến làm giảm sức tiến công của quân Pháp. Sau đó, ông được điều ra Việt Bắc làm lãnh đạo Ban nghiên cứu trực thuộc Bộ Tổng tham mưu. Một thời gian ngắn ông được cử làm Chủ nhiệm Quân y.